Klinsmann mempunyai kerjaya antarabangsa yang cukup baik. Beliau pertama kali menerima tugas antarabangsa pada tahun 1987 dan telah beraksi dalam 108 perlawanan antarabangsa menjadikan Klinsmann pemain keempat mengumpul kaps antarabangsa terbanyak bersama Jerman di belakang Lothar Matthäus, Miroslav Klose dan Lukas Podolski. Klinsmann menjaringkan 47 gol buat pasukan Jerman Barat dan Jerman dalam perlawanan antarabangsa dan berkongsi kedudukan tempat keempat penjaring gol terbanyak Jerman sepanjang masa dengan Rudi Völler dan berada di belakang Miroslav Klose (71 gol), Gerd Müller (68) dan Podolski (48). Beliau menjaringkan sebelas gol dalam saingan Piala Dunia dan berada di senarai keenam penjaring gol terbanyak Piala Dunia sepanjang zaman.

Pada tahun 1987, beliau beraksi dalam penampilan sulungnya buat Jerman menentang Brazil yang berkesudahan seri 1-1. Beliau mengambil bahagian dalam Sukan Olimpik 1988 yang meraih pingat gangsa. Klinsmann beraksi dalam tiga edisi Kejohanan Eropah iaitu pada 1988, 1992 dan 1996 (Jerman dinobatkan juara edisi tersebut). Klinsmann merupakan pemain pertama yang menjaringkan gol dalam tiga edisi Kejohanan Eropah berbeza. Seterusnya empat pemain lain iaitu Vladimír Šmicer, Thierry Henry, Nuno Gomes dan Cristiano Ronaldo menyamakan rekod ini.

Beliau merupakan tonggak utama pasukan Jerman Barat ketika Piala Dunia FIFA 1990. Selepas layak ke pusingan 16, Jerman berhadapan dengan pasukan Belanda, lawan yang menyingkirkan mereka daripada saingan Euro 1988. Perlawanan ini antara perlawanan antarabangsa terbaik Klinsmann. Selepas Rudi Völler dibuang padang pada minit ke-22, Klinsmann dipaksa bermain sebagai penyerang bersendirian. Namun itu tidak mematahkan semangat beliau. Beliau menjaringkan gol pembukaan perlawanan dan melancarkan ancaman berbahaya ke gawang gol Belanda sehinggalah wisel penamat ditiupkan. Selepas melakar kemenangan ke atas Czechoslovakia (1–0) dan England (1–1 selepas masa tambahan, 4–3 dalam penentuan penalti), Klinsmann menjadi juara dunia selepas menumbangkan Argentina 1-0 pada perlawanan akhir. Klinsmann diingati akibat dikasari oleh pemain Argentina, Pedro Monzón yang akhirnya dibuang padang sebelum pasukan Argentina terpaksa beraksi dengan sepuluh pemain. Ramai pihak mengkritik insiden Klinsmann dikasari yang menyaksikan beliau terjatuh dalam kotak penalti.

Klinsmann seterusnya mengambil bahagian dalam Piala Dunia 1994 (lima gol) dan 1998 (tiga gol). Beliau menjadi pemain pertama yang menjaringkan sekurang-kurangnya tiga gol dalam tiga edisi Piala Dunia berturut-turut sebelum rekod tersebut disertai Ronaldo dari Brazil dan rakan senegara, Miroslav Klose. Klinsmann kini penjaring gol keenam tertinggi dalam saingan Piala Dunia dan penjaring gol ketiga terbanyak dalam kalangan pemain Jerman di belakang Klose (16 gol) dan Gerd Müller (14 gol).